Recent studies have proposed a unified user modeling framework that leverages user behavior data from various applications. Most benefit from utilizing users' behavior sequences as plain texts, representing rich information in any domain or system without losing generality. Hence, a question arises: Can language modeling for user history corpus help improve recommender systems? While its versatile usability has been widely investigated in many domains, its applications to recommender systems still remain underexplored. We show that language modeling applied directly to task-specific user histories achieves excellent results on diverse recommendation tasks. Also, leveraging additional task-agnostic user histories delivers significant performance benefits. We further demonstrate that our approach can provide promising transfer learning capabilities for a broad spectrum of real-world recommender systems, even on unseen domains and services.
translated by 谷歌翻译
尽管变形金刚在段落的生成中取得了重大成功，但它们将句子视为令牌的线性序列，并且经常忽略其层次结构信息。先前的工作表明，输入令牌分解粒度〜（例如，单词，短语或句子）的水平已产生实质性改进，这表明可以通过更细粒度的粒度建模来增强变形金刚。在这项工作中，我们提出了粒度生成（C-DNPG）的粒度连续分解。为了有效地将粒度纳入编码句子中，C-DNPG引入了一种粒度感知的注意力（GA-注意）机制，该机制扩展了多头自我注意力，以：1）自动渗透句子的粒度头，该机制自动渗透了句子的等级结构通过神经估计每个输入令牌的粒度水平； 2）两个新的注意力面膜，即粒度共振和粒度范围，以有效地将粒度编码为注意力。在两个基准测试的实验（包括Quora问题对和Twitter URL）上表明，C-DNPG的表现优于基线模型，而在许多指标方面，C-DNPG的基线模型优于基线模型。定性分析表明，C-DNPG确实具有有效性捕获细粒度的粒度水平。
translated by 谷歌翻译
有条件图像生成的最新方法受益于密集的监督，例如分割标签图，以实现高保真性。但是，很少探索使用密集的监督进行无条件的图像生成。在这里，我们探讨了密集监督在无条件生成中的功效，找到生成器特征图可以替代成本昂贵的语义标签图。从我们的经验证据来看，我们提出了一种新的生成器引导的鉴别剂正则化（GGDR），其中生成器的特征地图监督了歧视者在无条件生成中具有丰富的语义表示。具体而言，我们采用了一个U-NET架构进行鉴别器，该体系结构经过训练，可以预测发电机特征图作为输入的伪造图像。关于Mulitple数据集的广泛实验表明，我们的GGDR始终在定量和定性方面提高基线方法的性能。代码可从https://github.com/naver-ai/ggdr获得
translated by 谷歌翻译
了解视频的时间动态是学习更好的视频表示的重要方面。最近，由于其能力捕获了输入序列的长期依赖性，因此对基于变压器的架构设计进行了广泛的探索。但是，我们发现这些视频变压器仍然有偏见地学习空间动力学而不是时间动力学，而伪造的虚假相关性对于它们的性能至关重要。根据观察结果，我们设计了简单而有效的自我监督任务，以便视频模型更好地学习时间动态。具体而言，对于借鉴空间偏见，我们的方法将视频框架的时间顺序作为额外的自我设计，并强制执行随机洗牌的框架以具有低信心的输出。此外，我们的方法还学习了连续帧之间视频令牌的时间流动方向，以增强与时间动力学的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频变压器的兼容性。
translated by 谷歌翻译
基于变压器的模型已在各个领域（例如自然语言处理和计算机视觉）中广泛使用并实现了最先进的性能。最近的作品表明，变压器也可以推广到图形结构化数据。然而，由于技术挑战，诸如节点数量和非本地聚集的技术挑战之类的技术挑战，因此成功限于小规模图，这通常会导致对常规图神经网络的概括性能。在本文中，为了解决这些问题，我们提出了可变形的图形变压器（DGT），以动态采样的键和值对进行稀疏注意。具体而言，我们的框架首先构建具有各种标准的多个节点序列，以考虑结构和语义接近。然后，将稀疏的注意力应用于节点序列，以减少计算成本，以学习节点表示。我们还设计简单有效的位置编码，以捕获节点之间的结构相似性和距离。实验表明，我们的新型图形变压器始终胜过现有的基于变压器的模型，并且与8个图形基准数据集（包括大型图形）的最新模型相比，与最新的模型相比表现出竞争性能。
translated by 谷歌翻译
图像合成中的评估指标起着测量生成模型的性能的关键作用。但是，大多数指标主要集中于图像保真度。现有的多样性指标是通过比较分布来得出的，因此它们无法量化每个生成图像的多样性或稀有程度。在这项工作中，我们提出了一个新的评估度量，称为“稀有分数”，以测量通过生成模型合成的每个图像的稀有性。我们首先表明经验观察表明，共同样品彼此接近，并且在特征空间最近的邻居距离处，稀有的样本彼此遥远。然后，我们使用我们的指标来证明可以有效比较不同生成模型产生稀有图像的程度。我们还提出了一种比较共享相同概念（例如Celeba-HQ和FFHQ）的数据集之间的稀有度的方法。最后，我们分析了在特征空间的不同设计中的指标的使用，以更好地了解特征空间和产生的稀疏图像之间的关系。代码将在网上公开用于研究社区。
translated by 谷歌翻译
由于特征陈述学习微妙对象细节的难度，无监督的细粒度类聚类是实用但具有挑战性的任务。我们介绍C3-GaN，一种通过应用对比学习来利用Infogan的分类推理能力的方法。我们的目标是学习鼓励数据在嵌入空间中形成不同的群集边界的特征表示，同时还可以最大化潜在代码和其观察之间的相互信息。我们的方法是培训用于推断群集的鉴别器，以优化对比损失，其中最大化互信息的图像潜在的成对被认为是正对，其余部分作为负对对。具体而言，我们映射从分类分布中采样的生成器的输入，以识别鉴别器的嵌入空间，并让它们充当群集质心。以这种方式，实现了C3-GaN，以了解一个聚类友好的嵌入空间，其中每个群集都是独特的分离的。实验结果表明，C3-GaN在四个细粒度的基准数据集上实现了最先进的聚类性能，同时还减轻了模式崩溃现象。
translated by 谷歌翻译
GPT-3显示了培训的大规模语言模型（LMS）的卓越情调学习能力，培训数十亿规模数据。在这里，我们解决了GPT-3纸张报告的一些剩余问题，例如非英语LM，不同大小模型的性能，以及最近引入的迅速优化对上下文学习的效果。为实现这一目标，我们介绍了HyperClova，一个韩国VPT-3的韩国变体训练在一个以韩国为中心的560b标准的令牌。通过我们的韩国特定标记化，HyperClova与我们的培训配置增强，显示了韩国各种下游任务的最先进的上下游零射击和几秒钟学习表演。此外，我们展示了基于及时的学习的性能优势，并演示如何集成到迅速的工程管道中。然后，我们讨论了通过引入Hyperclova Studio，互动提示工程界面向ML的非专家提供AI原型设计能力来实现No Code AI范例的可能性。最后，我们展示了我们具有三个成功的内部应用程序的方法的潜力。
translated by 谷歌翻译
我们介绍韩语了解评估（KLUE）基准。 Klue是8个韩国自然语言理解（nlu）任务的集合，包括主题分类，语言典的相似性，自然语言推断，命名实体识别，关系提取，依赖解析，机器阅读理解和对话状态跟踪。我们从各种源语料库中展开的所有任务，同时尊重版权，以确保任何没有任何限制的人的可访问性。考虑到道德考虑，我们仔细设计了注释协议。随着基准任务和数据，我们为每个任务提供适用的评估指标和微调配方，为每项任务进行预训练语言模型。我们还释放了预用的语言模型（PLM），Klue-Bert和Klue-Roberta，以帮助在KLUE上再现基线模型，从而促进未来的研究。我们通过拟议的Klue基准套件从初步实验中进行了一些有趣的观察，已经证明了这款新的基准套件的有用性。首先，我们找到了klue-roberta-mantring的其他基线，包括多语种plms和现有的开源韩国plms。其次，即使我们从预先预测语料库中取代个人身份信息，我们也会看到性能下降最小，这表明隐私和NLU能力并不彼此可能。最后，我们发现，使用BPE标记与语素级预象的组合，在涉及语素级标记，检测和发电的任务中是有效的。除了加速韩国人NLP研究外，我们的创建Klue的全面文件将有助于将来为其他语言创建类似的资源。 klue在https://klue-benchmark.com上提供。
translated by 谷歌翻译
预先接受训练的语言模型的最新进展具有显着改善的神经反应生成。但是，现有方法通常将对话背景视为令牌的线性序列，并通过令牌级自我关注学习生成下一个单词。这些令牌级编码阻碍了话语中话语水平一致性的探索。本文介绍了对话贝特，这是一种新的会话响应生成模型，可以增强以前的基于PLM的对话模型。 DialogBert采用分层变压器架构。为了有效地捕捉话语中的话语水平一致性，我们提出了两种培训目标，包括蒙面的话语回归和分布式话语秩序与原始BERT训练相比。在三个多转对谈话数据集上的实验表明，在定量评估方面，我们的方法非常优于BART和Dialogpt等基线。人类评估表明，DialogBert比具有显着利润率的基线产生更加连贯，信息和人类的反应。
translated by 谷歌翻译